Theo Đại Việt sử ký toàn thư, Lữ Gia là Thái phó (sau được làm Thừa tướng) ba đời vua Triệu, từ Minh Vương (124 – 113 TCN), Ai Vương (112 TCN) tới Thuật Dương Vương (112 – 111 TCN).

Minh Vương Triệu Anh Tề đã có con lớn là Triệu Kiến Đức với một bà vợ người Việt, nhưng vì yêu Cù Hậu là người Hán nên lập con nhỏ của Cù Hậu là Triệu Hưng lên thay. Năm 113 TCN, Minh Vương chết, Hưng nối ngôi, tức là Triệu Ai Vương.

Trước kia, Thái hậu chưa lấy Minh Vương, đã từng thông dâm với An Quốc Thiếu Quý người Bá Lăng. Năm ấy nhà Hán thấy nước Nam Việt vua nhỏ nên sai An Quốc Thiếu Quý sang dụ Triệu Ai Vương và Thái hậu vào chầu, như đối với các chư hầu nhà Hán, lại sai Biện sĩ là Gián nghị đại phu Chung Quân tuyên dụ, Dũng sĩ là Ngụy Thần giúp việc, vệ úy Lộ Bác Đức đem quân đóng ở Quế Dương để đợi sứ giả.

Triệu Hưng còn ít tuổi, Cù thái hậu là người Hán, Thiếu Quý đến, lại tư thông. Người trong nước biết, phần nhiều bất bình không theo Thái hậu. Thái hậu sợ, muốn dựa uy nhà Hán, nhiều lần khuyên Triệu Hưng và các quan xin nội phụ nhà Hán, bèn nhờ sứ nhà Hán dâng thư, xin theo như các chư hầu của nhà Hán, cứ ba năm một lần vào chầu, triệt bỏ cửa quan ở biên giới. Vua Hán bằng lòng, ban cho Triệu Ai Vương và Thừa tướng Lữ Gia ấn bằng bạc và các ấn nội sử, trung úy, thái phó, còn các chức khác được tự đặt lấy.

Cù thái hậu đã sửa soạn hành trang lễ vật quý giá để cùng Triệu Ai Vương vào chầu. Thừa tướng Lữ Gia tuổi cao chức trọng, người trong họ làm trưởng lại đến hơn 70 người, con trai đều lấy con gái vua đời trước, con gái đều gả cho con em vua và người tôn thất, cùng thông gia với Tần Vương Triệu Quang ở đất Thương Ngô. Trong nước Nam Việt, ông được lòng dân hơn cả vua. Lữ Gia nhiều lần dâng thư can Ai Vương nhưng Ai Vương không nghe.

Lữ Gia quyết định làm binh biến, thường cáo ốm không tiếp sứ giả nhà Hán. Các sứ giả nhà Hán đều muốn hại ông, nhưng thế chưa thểlàm được. Thái hậu cũng sợ phe Lữ Gia khởi sự trước, muốn nhờ sứ giả nhà Hán trù mưu giết ông.

Cù thái hậu bèn đặt tiệc rượu mời sứ giả đến dự, các đại thần đều ngồi hầu rượu. Em Lữ Gia làm tướng, đem quân đóng ở ngoài cung. Tiệc rượu mới bắt đầu, Thái hậu bảo ông rằng:

"Nam Việt nội thuộc [Trung Quốc] là điều lợi cho nước, thế mà tướng quân lại cho là bất tiện là tại sao?"

Ý Cù thái hậu muốn chọc tức sứ giả. Sứ giả còn đang hồ nghi, chần chừ chưa dám làm gì. Lữ Gia thấy tai mắt họ có vẻ khác thường, lập tức đứng dậy đi ra. Thái hậu giận, muốn lấy giáo đâm ông nhưng Triệu Ai Vương ngăn lại.

Lữ Gia bèn ra chia lấy quân lính của em dẫn về nhà, cáo ốm không chịu gặp vua và sứ giả, ngầm cùng các đại thần chống đối. Triệu Ai Vương vốn nể uy tín của Lữ Gia nên không có ý giết ông. Lữ Gia biết thế nên đến mấy tháng không hành động gì. Thái hậu muốn một mình giết Gia nhưng sức không làm nổi.

Hán Vũ Đế nghe tin Lữ Gia không nghe mệnh, mà Triệu Hưng và Thái hậu thì cô lập, không chế ngự nổi, sứ giả thì nhút nhát không quyết đoán, lại thấy Hưng và Thái hậu đã nội phụ rồi, chỉ một mình Lữ Gia làm loạn, không đáng dấy quân, muốn sai Trang Sâm đem 2.000 người sang sứ. Sâm từ chối không nhận. Hán Vũ Đế bèn bãi chức Sâm. Tướng Tế Bắc cũ là Hàn Thiên Thu hăng hái xin đi. Hán Vũ Đế bèn sai Thiên Thu và em Cù thái hậu là Cù Lạc đem 2.000 người tiến vào đất Nam Việt.

Lữ Gia bèn hạ lệnh trong nước rằng:

"Vua còn nhỏ tuổi, Thái hậu vốn là người Hán, lại cùng với sứ giả nhà Hán dâm loạn, chuyên ý muốn nội phụ với nhà Hán, đem hết đồ châu báu của Tiên vương dâng cho nhà Hán để nịnh bợ, đem theo nhiều người đến Trường An rồi bắt bán cho người ta làm đầy tớ, chỉ nghĩ mối lợi một thời, không đoái gì đến xã tắc họ Triệu và lo kế muôn đời".

Ông bèn cùng với em đem quân đánh, giết Triệu Ai Vương và Cù thái hậu, cùng tất cả sứ giả nhà Hán, rồi sai người đi báo cho Tần Vương Triệu Quang ở Thương Ngô và các quận ấp, lập con trưởng của Triệu Minh Vương là Thuật Dương hầu Kiến Đức làm vua, tức là Triệu Thuật Dương Vương.